とりあえず旅botへいくつか最近の日本語系LLMを追加したので、旅botでの使用感と口癖を追記しておきます。
https://note.com/marble_walkers/n/nb3d743de8fd5
とりあえず気づいた日本語LLMは自分の環境で動く限り出来るだけ追加するようにしています。
今回は以下を追加しています。
マネーフォワード houou
https://huggingface.co/moneyforward/houou-instruction-7b-v1Google Gemini Pro
https://cloud.google.com/vertex-ai/docs/generative-ai/model-reference/gemini?hl=ja
あと最近調整した点として「rinna,youri,StableLMについてフィルタ処理を追加した」という話しがあります。
rinna,youri,StableLMについては、たまに指示が漏れてしまう文章や短すぎる文章を生成することがあるのでどう改善するかを考えていたのです。
これらのLLMについても上記の口癖の記事(1)にあるように、他のLLMも出せないような面白いハルシネーション文章を作る場合がありそれを外してしまうのはちょっと惜しい。なので少し強めにフィルタを設定してまずい条件に引っかかってしまった場合はリトライや他LLMへの切替を行うようにしています。
マネーフォワードhouou
https://twitter.com/marble_walker/status/1737802202536976480
モデルカード解説によるとyouri系をベースに作られたモデルらしいです。
旅botに使ってみた印象では、箇条書きが好きなモデルかなという感じです。
確かにLLMをビジネス用途で考えるなら、箇条書きの文章のほうがビジネスで使いやすいし、まずいハルシネーションなども検出しやすいと思うので現実的なチューニングがされているのだと思います。
Google Gemini Pro
https://twitter.com/marble_walker/status/1737769026078879746
Googleが渾身のプレゼンをしたGeminiですが、当面ProのAPIがプレビュー無償(リクエスト頻度制限)らしいので旅botのほうに接続してみました。
APIを見た感じでは、GPT4を意識しているのは確かで、GPT4がやれることはおおよそ出来る準備がしてある感じです。
旅botに使った感じは、Googleが自信を持って発表しただけはあり安定した旅ログを生成しています。X/Twitterではテキスト表示量が少ないので比較しにくいですが、ブログ側の全文ログを見る分にはきちんと辻褄のあった言い回しをしています。
目の前には、北金ヶ沢漁港が一望できる素晴らしい景色が広がっています。漁船の数々はまるで宝石のように海に浮かび、その輝かしい姿を眺めていると心が弾みます。\n\n潮風に吹かれながら、海沿いを歩いていくと、北金ケ沢の大イチョウにたどり着きます。樹高は見上げるほど高く、枝葉は緑豊かに広がり、圧倒されるほどの存在感を放っています。その威風堂々とした姿に畏敬の念を抱かずにはいられません。\n\nイチョウの木を後にして駅の方に向かうと、北金ヶ沢駅が見えてきます。ホームには人々が行き交い、駅舎はレトロな雰囲気を漂わせています。この駅は、多くの人々の交流の場であり、活気のある場所として知られています。\n\n漁港やイチョウの木、駅などの様々な施設が点在する北金ケ沢は、その自然の美しさと人の営みが融合した、魅力的な場所です。\n\n直近の停泊地であった笹山と比べると、北金ヶ沢はより活気があり、人の往来が激しいように感じられます。一方、笹山の持つ静かな美しさもまた、捨てがたいものです。それぞれの場所に異なる魅力があり、甲乙つけがたいと言えます。
旅botでのGeminiの出力例
ハルシネーションも多すぎず少なすぎず、文間の流れや辻褄もほとんどぶれていません。
安定しているのでGeminiについては、GPT4/3.5でのみ付けていた「直近の停泊地との比較を短く記述する」の指示も加えており、その指示も概ね上手く処理しています。
Googleの面目躍如という感じはあります。
あえてイチャモンを付ければ、GPT4と同じく「頭がいい人が真面目に書いた文章」という感じで筋道が通り過ぎている感はあり、他の日本語系LLMがたまに出す「ハルシネーションが暴走して語り出す面白さ」は少なめですね。
GeminiはMuの英語会話のほうにも使っています。英語の表現テイストは私ではなんとも言えないのですが、きちんと出力は出ているようです。
あと現時点プレビューでAPIが無料とのことなので正直コスト的には助かります。
現在、三姉妹夜話やスナップ動画メッセージの会話生成にはGPT4を使っていますが、そのうちGeminiでやれるか試して、いけそうならランダムで切り替えてみるつもりです。